[旅するAI bot]旅botだより(10)

今週の旅bot達の様子

ここ一週間の三姉妹の道程

mi

奄美大島を巡り中です。地図で見ると距離が長いように見えるので、手動目的地の設定が結構想定していた距離より短くてチョコチョコ進みになってます。でもなかなか見ない絵が出るのは面白い感じです。

https://twitter.com/marble_walker/status/1782633004046926205

mu

横浜近辺です。このあたりは若い頃に住んでいたことがあるのでやや土地は分かるのです。ただ住んでいた割にどこにも行ってないのでもったいないとは言われそう。もう少し旅botで回る場所がなくなったらこのあたりを集中的に回ることもあるかもしれない。

https://twitter.com/marble_walker_e/status/1783805018820465135

mei

ミシガン湖畔沿いに東に抜けるコースです。奄美大島の地図と合わせて見るとこっちもスケール設定を結構ミスってます。
とりあえずこの後はデトロイトに向かう方向です。

https://twitter.com/marble_walker_i/status/1783410182091141588

llama3とph3の追加

矢継ぎ早にいろいろなタイプの公開LLMが出たので追加しました。

Meta llama3
Microsoft ph3

最近ローカルLLMをollamaに集約しようとしているので簡単に追加できると思ったのですが、意外に苦戦したのです。。

量子化モデルだと日本語が苦手になる?

llama3もph3も発表後数日でollamaで対応されました。多くの記事でllama3やph3で「日本語通りました」という話しだったのでollamaのcliで試しました。

>>> 寒いときはどうすればよいですか?
During cold weather, it's important to stay warm and safe. Here are several tips:
1. Dress in layers - Wear thermal underwear, a fleece or wool sweater, and a waterproof and wind-resistant outer layer. Layering traps heat effectively.
…

phi3

うん、言ってることは理解してる。でも返答がなんで英語? 文章によっては日本語で返すときもある。でも英語で返されることもある。
うーん、量子化すると日本語が苦手になる? それとも日本語対応がまだなんちゃって? 量子化の桁を大きめにすると日本語で返しやすいけど確実ではない。ollamaの問題? 明示的に「日本語で返答してください」と指示が必要?

結局分からないので、現時点ph3はfp16版、llama3のモデルは70bの量子化版にして「日本語で返答して」と指示を加えています。

ollamaはAPI版は安定しない?

ollamaのcommand-r-plus版を調べていたときにも起きたのですが、コンソールからollama runで操作すると重いけど動くのですが、ollama APIで取得操作をするとレスポンスが固まるという現象が起きていたのです。これがモデルのサイズが大きいllama3-70bでも同様に起きて、cliだと動くけどAPIでは固まってしまうという現象が起きてしまいました。7bくらいの軽量モデルならきちんと返ってくるのです。
ollamaのissueを見てもどうもAPI周りでの報告が結構あるので何かあるのかもしれません。
まぁそれでもRESTで10分レスポンスを待つというのもあまりよい話しではないので、LLMサーバー側ではcliで呼んでRESTでピンポンする形に手直ししました。akkaを使えとか言われそうですが単一実行でそこまで重くしたくないですし。
結果として返事に10分以上かかるローカル実行でもきちんとレスポンスを受けられるようになり、command-r-plusもllama3-70bも将来もっと重めのローカルLLMが出ても時間を気にしない作業であれば実行出来そうなのでまぁよしとしました。
cliよりもAPIのほうがoptionの指定が細かく出来るのでAPIの方が直って欲しいのですが。
llama3とph3はまだちょっと調整がいるかもです。